摘要:我们介绍Omnih2O(Omni人类与人类),这是一种基于学习的全身类人体近亲和自治的系统。使用运动学姿势作为通用控制界面,Omnih2O为Human提供了各种方法,可以用灵敏的手控制全尺寸的类人,包括通过VR耳机,口头指导和RGB摄像机使用实时近距离。om-nih2o还可以通过从远程手术示范中学习或与诸如GPT-4O等边境模型集成来实现完全的自主权。OmniH2O通过远程操作或自治,在各种现实世界中的全身任务中展示了敏捷性和敏捷性,例如从事多种运动,运动和操纵对象以及与人类互动,如图1所示。我们开发了基于RL的SIM到运行管道,该管道涉及大规模的重新定位和增强人类运动数据集,通过模仿特权教师政策,并奖励设计,以稀疏的传感器输入来学习真实的可部署政策,并奖励设计,以增强ro- bubsness和稳定性和稳定性。我们发布了第一个类人动物全身控制数据集,OmniH2O-6,包含六个日常任务,并从远程处理数据集中展示了类人动物全身技能。
主要关键词
![arxiv:2406.08858v1 [CS.RO] 2024年6月13日-Omnih2oPDF文件第1页](/bimg/a/a97f2ed99758309acde2276541cd8ae900a7308d.webp)
![arxiv:2406.08858v1 [CS.RO] 2024年6月13日-Omnih2oPDF文件第2页](/bimg/d/dcd02440f29198bd062395b055aeca4639e7f1c3.webp)
![arxiv:2406.08858v1 [CS.RO] 2024年6月13日-Omnih2oPDF文件第3页](/bimg/9/98745aad3151ec414da2d9d122f0c154ec4efaeb.webp)
![arxiv:2406.08858v1 [CS.RO] 2024年6月13日-Omnih2oPDF文件第4页](/bimg/1/18d762e65e1043fb0528f9f36f4c37dc079c37d5.webp)
![arxiv:2406.08858v1 [CS.RO] 2024年6月13日-Omnih2oPDF文件第5页](/bimg/d/dce2236e5f73521ad3e01172421423365671a488.webp)
